#multi-level low rank

Personalizando los sesgos inductivos de la atención softmax con matrices estructuradas

Nuevas funciones de scoring con matrices estructuradas de alto rango mejoran la atención softmax. Ideal para modelos de lenguaje y series temporales.